Het eerste kasteel in Elverdinge werd gebouwd rond de 12de eeuw. Het behoorde oorspronkelijk toe aan afstammelingen van de graven van Vlaanderen.
Adrianus Vander Borcht kreeg de heerlijkheid in 1629 in handen. Hij liet een kasteel in Vlaamse renaissance stijl bouwen, omringd door water. Dit kasteel stond op de plaats waar nu het oud klooster staat. Na de familie Vander Borcht kwam de heerlijkheid in handen van verschillende families. In chronologische volgorde had je de families: de Bever, de Lichtervelde, de Steenhuyse, de Bethune, d’Ennetières en de Laubespin.
Victor, markgraaf d’Ennetière vestigde zich te Elverdinge in 1870. Hij vergrootte zijn heerlijkheid door gronden aan te kopen. Dankzij hem werd Elverdinge een aanzienlijke gemeente. In 1870 liet hij een nieuw kasteel en een familie grafkelder bouwen. Hij liet op zijn kosten al de straten (14 km) in Elverdinge vernieuwen. Door zijn mildheid werd hij de vader van de armen genoemd.
Tijdens de Eerste Werelsoorlog brandde het kasteel uit. In 1925 begon de heropbouw, maar nu in rococostijl, naar het ontwerp van Jules Coomans. Tijdens de Tweede Wereldoorlog namen de Duitse stafofficieren hun intrek in het kasteel, zodat het na 1945 nog eens opgeknapt moest worden.
Het kasteel is eigendom van Eric du Cauze de Nazelle en zijn echtgenote Isabelle de Rochechouart de Mortemart, nakomelingen van de familie de Laubespin.